Les deux puissances s'accusent mutuellement de copier leurs modèles nationaux pour entrainer de nouvelles IA optimisées à moindre coût, via une technique de machine learning bien connue. Celle-ci consiste à transférer les connaissances d'un grand modèle pré-entraîné à un autre, plus efficace.
( AFP / KIRILL KUDRYAVTSEV )
Au coeur de la bataille technologique que se livrent Chine et Etats-Unis, plusieurs poids-lourds de l'intelligence artificielle des deux camps ont lancé l'alerte sur la "distillation" à laquelle s'adonneraient leurs rivaux pour développer des modèles d'IA concurrents.
Lundi 27 juillet, la Chine a ainsi accusé des entreprises américaines d'utiliser des données chinoises pour entraîner leurs modèles, dans un contexte de rivalité féroce entre les deux premières économies mondiales. Selon un communiqué du ministère chinois du Commerce, "de nombreuses entreprises américaines d'intelligence artificielle" ont eu recours avec des modèles chinois à la méthode dite de distillation "lors de leurs processus de recherche, de développement et d'entraînement".
Elève et professeur
Cette méthode consiste à étudier en détail, de l'extérieur, un modèle, principalement en le bombardant de demandes, pour en comprendre le fonctionnement et les tendances. "La distillation est un transfert de connaissances d'un modèle d'IA vers un autre. On génère des données avec un grand modèle (le modèle "enseignant", ou "professeur" ndlr), et on entraîne un modèle plus petit à imiter ses réponses, a ainsi expliqué une ingénieure de la licorne franco-américaine Hugging Face, dans les colonnes de l'Express .
La technique vise ainsi à se servir d'un modèle d'IA de référence pour encadrer l'entraînement d'un modèle optimisé, plus compact et rapide, conservant des performances similaires mais à moindre coût. Ces millions de requêtes sont ainsi envoyées au modèle professeur pour nourrir le raisonnement du modèle apprenant, tout en réduisant ses besoins en puissance de calcul.
Entre géants de l'IA, deux camps émergent
"C'est comme si quelqu'un assistait à tous les cours, lisait les livres et faisait tout le dur travail pour accomplir un devoir, et un autre étudiant arrive et dit "Je n'ai pas fait ça. Je peux juste copier ton travail?", commente pour sa part Pukar Hamal, fondateur de l'entreprise de sécurité IA SecurityPal, auprès de CNBC .
( / )
Malgré la menace, plusieurs poids-lourds américains comme Nvidia, Microsoft, Meta ou Palantir ont appelé, dans une tribune commune signée par 24 acteurs du secteur, le législateur américain à éviter des "restrictions prématurées" sur les modèles IA ouverts qui pourraient paralyser l'innovation. "La distillation est une technique largement répandue pour l'amélioration, l'évolution et la validation des modèles", écrivent ainsi les signataires de la tribune. Parmi les absents remarqués de cette tribune figurent notamment Google, OpenAI, Amazon, ou encore Anthropic, dont le modèle "Fable" et ses performances sont au coeur des échanges tendus entre Washington et Pékin.
"Acte typique d'hégémonisme"
Mercredi dernier, le conseiller scientifique et technologique de la Maison Blanche, Michael Kratsios, avait ainsi lancé des accusations contre la start-up chinoise Moonshot AI, l'accusant d'avoir copié le modèle Fable d'Anthropic, considéré comme le plus performant du marché, pour mettre au point son IA Kimi K3, en recourant à cette même technique de la distillation. M. Kratsios faisait lui-même écho au ministre américain des Finances, Scott Bessent, selon qui le gouvernement a trouvé des traces de modèles américains dans plusieurs IA chinoises de pointe.
Les accusations de Washington à l'encontre des entreprises chinoises d'IA "sont dénuées de fondement factuel et juridique", elles "relèvent d'une politique de deux poids, deux mesures et constituent un acte typique d'hégémonisme dans le domaine de l'intelligence artificielle", a affirmé le ministère chinois. "La Chine prendra toutes les mesures nécessaires pour défendre fermement ses droits et intérêts légitimes", a-t-il ajouté.
2 commentaires
Vous devez être membre pour ajouter un commentaire.
Vous êtes déjà membre ? Connectez-vous
Pas encore membre ? Devenez membre gratuitement
Signaler le commentaire
Fermer